Deriving Scaling Laws for OpenEuroLLM Models: Learning Rate, Batch Size and Loss
推导 OpenEuroLLM 模型的缩放定律：学习率、批量大小与损失
🧭 LLM 预训练超参缩放定律
ELLIS Institute Tübingen · Eindhoven University of Technology · Georgia Institute of Technology · University of Freiburg · Jülich Supercomputing Center (JSC)
系统研究 LLM 预训练中学习率与 batch size 的联合最优缩放及边际演化，并刻画损失对模型容量和数据规模的依赖
📌 工作参考价值（4 点）
- 在业务微调或预训练领域大模型时，先做小规模超参扫描，再用拟合的缩放关系外推到大模型：避免在全尺寸模型上重复扫描 learning rate 和 batch size，节省算力；尤其适合电商 search/推荐语料上训练 Query 生成、意图识别或商品描述生成模型。
- 采用 Warmup-Stable-Decay 三段式 schedule 时，关注 stable 与 decay 阶段最优超参是否可迁移：如果发现最优 lr/bs 不迁移，需要在 decay 阶段单独调参；这对追求最终 loss 最优的领域模型训练有直接指导意义。
- 用显式建模模型容量与数据规模交互的 scaling forms 判断欠训练/过训练：在有限数据预算（如电商垂直域语料）和模型规模约束下，预估增加数据或参数带来的 loss 收益，辅助资源分配决策。
- 开源全部预训练 runs 可直接复用为 baseline 或 warm start：若企业计划从零预训练多语言/英语为主的电商领域 LLM，可参考其 scaling 流程与超参选择，减少摸索成本。